डेटा इन्फ्रास्ट्रक्चर की बढ़ती जटिलताएं: लागत प्रभाव और आगे का रास्ता

डेटा की दुनिया पिछले एक दशक में नाटकीय रूप से बदल गई है। पारंपरिक डेटाबेस, जो एक संरचित प्रारूप में जानकारी संग्रहीत करने के लिए डिज़ाइन किए गए थे, असंरचित डेटा के विशाल गोदामों में विकसित हुए हैं जो विभिन्न स्थानों पर कई सर्वरों पर बैठते हैं। बहुत समय पहले की बात नहीं है, हम ओरेकल और आईबीएम जैसे बीहमोथ्स के वर्चस्व वाले मोनोलिथिक सिस्टम को देखने के आदी थे। यदि आप एक विश्लेषक या व्यावसायिक उपयोगकर्ता हैं, जिन्हें इस प्रकार के डेटा तक पहुंच की आवश्यकता है—और किसे नहीं?—इसका मतलब धीमी गति से चलने वाले सिस्टम हैं जिन्हें प्रबंधित करना अविश्वसनीय रूप से कठिन था।

एक नए सॉफ्टवेयर स्टैक का जन्म

सिस्टम की बढ़ती जटिलता ने अंततः आधुनिक सॉफ़्टवेयर स्टैक की आवश्यकता को समाप्त कर दिया जो संगठनों को लागत प्रभावी रहने के प्रबंधन के दौरान जटिल एप्लिकेशन चलाने में मदद कर सकता है। ओपन सोर्स मूवमेंट ने जटिल अनुप्रयोगों को एक साथ रखने की लागत को नाटकीय रूप से कम करके, जैसे कि पूर्ण-पाठ खोज के लिए लोचदार खोज और मॉडलिंग के लिए PyTorch में मदद की। सॉफ्टवेयर की मजबूत पैकेजिंग और संचालन ने सिस्टम की उपयोगिता, स्थिरता और अर्थशास्त्र में सुधार किया।

द मॉडर्न डेटा स्टैक (एमडीएस), जिसने पिछले एक दशक में बहुत अधिक कर्षण देखा है, ओपन सोर्स मूवमेंट पर आधारित है और उद्यम डेटा स्टैक बनाने के उद्देश्य से विचारों, उपकरणों और कार्यप्रणाली का एक संग्रह है।

एमडीएस को बढ़ाने में चुनौतियां

2010 के दशक में, हमने एमडीएस के भीतर ओपन सोर्स टूल्स को तेजी से अपनाया। हालाँकि, उनकी प्रारंभिक सफलता के बाद, जब उन्हें स्केल करने की बात आई तो इनके आसपास कई संगठनों की पहल चुनौतियों का सामना करना पड़ा:

1. संगठनों और टीमों को जिन उपकरणों, विन्यासों, पद्धतियों और अंतःक्रियाओं के साथ रहना पड़ा, उनकी संख्या के कारण संज्ञानात्मक अधिभार भारी था, जिससे प्रतिभाओं के बीच बर्नआउट और उच्च एट्रिशन दर हो गई।
2. इन तकनीकों से जुड़े सीखने की अवस्था अविश्वसनीय रूप से खड़ी थी। किसी को यह समझना होगा कि इनमें से अधिकांश ओपन सोर्स टूल नेटफ्लिक्स, गूगल और उबेर जैसे परिष्कृत संगठनों में बनाए गए थे और जरूरी नहीं कि छोटे तैनाती वाले संगठनों की जरूरतों के अनुरूप हों-पैमाने का एक अंश।
3. अंतरिक्ष में नवाचार की गति का मतलब नई प्रौद्योगिकियों के लिए कम जीवनकाल भी था। जिस गति से नए, बेहतर, तेज, अधिक कुशल उपकरण दृश्य पर आ रहे थे, इंजीनियरों को तेजी से सीखना और छोड़ना पड़ा।
4. डेटा विज्ञान समुदाय वह है जिसमें कई परस्पर विरोधी दृष्टिकोण होते हैं, जिसके परिणामस्वरूप स्पष्टता की कमी होती है कि किसी को किस दृष्टिकोण को अपनाने की आवश्यकता है (उनके व्यवसाय के लिए सबसे अच्छा क्या है)। अधिक बार नहीं, इस चुनौती को दूर करने का एकमात्र तरीका निर्माण करना है, जो न केवल महंगा है, बल्कि समय लेने वाला भी है।
5. यदि आप गार्टनर जैसे प्रचार चक्रों का अनुसरण कर रहे हैं, तो शायद आपके लिए यह जानना कोई आश्चर्य की बात नहीं है कि प्रौद्योगिकी निवेश की समाप्ति तिथि है (जो शायद एक दशक पहले की तुलना में बहुत तेज़ी से आती है)। Hadoop, NoSQL और डीप लर्निंग जैसी तकनीकें जिन्हें बहुत पहले "हॉट" माना जाता था, वे पहले ही गार्टनर प्रचार चक्र के अपने चरम को पार कर चुकी हैं।

अंक # 1 और # 2 ने उद्योग में तनाव के स्तर को जोड़ने और प्रौद्योगिकियों को अपनाने और उपयोग करने के लिए उपलब्ध प्रतिभा को सीमित करने में एक प्रमुख भूमिका निभाई है। हमने DevOps स्पेस में एक समान प्रवृत्ति देखी है, जिसमें डेवलपर प्रतिभा की आपूर्ति नई डिजिटल सेवाओं की मांग को पूरा नहीं कर रही है। डेल कैपिटल के टायलर ज्वेल इस समस्या के बारे में काफी मुखर रहे हैं - जो उच्च बर्नआउट की ओर ले जा रहा है, और एक पेशेवर डेवलपर की औसत करियर अवधि 20 साल से कम है। उन्होंने हाल ही में एक थ्रेड पोस्ट किया जहां उन्होंने डेवलपर के नेतृत्व वाले परिदृश्य में जटिलता में गहरा गोता लगाया, और हम मदद नहीं कर सकते लेकिन उनके दावों और एमएलओपीएस स्पेस के बीच कई समानताएं देख सकते हैं।

अंक #3 और #4 आज के डेटा लोगों की दुर्दशा को उजागर करते हैं-यदि समस्याओं को हल करना पर्याप्त नहीं था, तो वे यह पता लगाने में अधिक समय व्यतीत करते हैं कि वे "कैसे" आगे बढ़ सकते हैं और समस्याओं को हल करने में सक्षम होने के बिना समस्याओं को हल कर सकते हैं। करने की जरूरत है, या अपेक्षित परिणाम।

एक बदलाव आ रहा है…

हम संगठनों द्वारा उपयोग किए जाने वाले डेटा टूल में बदलाव देख रहे हैं, जो एक बढ़ी हुई मान्यता से प्रेरित है कि उनमें से कई के पास अपनी बुनियादी ढांचे की जरूरतों के लिए तीसरे पक्ष के विक्रेताओं पर भरोसा करने के अलावा कोई विकल्प नहीं है। यह न केवल बजट की कमी के कारण है, बल्कि अन्य बाधाओं के कारण भी है, जैसे डेटा सुरक्षा और उद्गम।

इसके अलावा, स्वचालित प्रक्रियाओं की मांग में वृद्धि हुई है जो उद्यमों को संचालन को बाधित किए बिना या डाउनटाइम के कारण आसानी से एक प्रदाता से दूसरे में कार्यभार स्थानांतरित करने की अनुमति देती है। हम वित्तीय सेवाओं जैसे उद्योगों के भीतर इनका प्रभाव देख रहे हैं जहां सफलता के लिए डेटा प्रबंधन अक्सर महत्वपूर्ण होता है (उदाहरण के लिए, क्रेडिट रेटिंग एजेंसियां)।

इन सभी के साथ-साथ ऊपर सूचीबद्ध चुनौतियों के परिणामस्वरूप, समुदाय में कई विकास हुए हैं:

मैं

1. संगठन तेजी से अपने डेटा में विश्वास बनाने की आवश्यकता पर जोर दे रहे हैं, जो डेटा गुणवत्ता और डेटा शासन पर ध्यान केंद्रित करने वाले उपकरणों को जन्म दे रहे हैं।
2. मशीन लर्निंग और डेटा साइंस की पहल को परिणामों से जोड़ा जा रहा है, और व्यावसायिक मॉडल जो स्पष्ट रूप से विशिष्ट व्यावसायिक उपयोग के मामलों से जुड़े हुए हैं, पर जोर दिया जा रहा है।
3. लगातार बढ़ती लागत और जटिलता के परिणामस्वरूप फीचर एक्सटेंशन, अधिग्रहण और एकीकरण के माध्यम से समेकन हो रहा है। उदाहरण के लिए, स्नोफ्लेक एक पूर्ण विश्लेषणात्मक अनुप्रयोग स्टैक बनने के लिए अपने भागीदारों की सूची को तेजी से बढ़ा रहा है।
4. मॉडल परिनियोजन के बाद की जटिलता को ध्यान में रखते हुए, हम NannyML जैसे उपकरणों का उद्भव देख रहे हैं, जो मॉडल के प्रदर्शन का अनुमान लगाने, बहाव का पता लगाने और पुनरावृत्त परिनियोजन के माध्यम से उत्पादन में मॉडल को बेहतर बनाने में मदद करते हैं। हम इसे व्यवसायों के लिए व्यवसाय, डेटा और मॉडल के बीच के लूप को बंद करने के तरीके के रूप में देख रहे हैं।
5. आर्टिफिशियल इंटेलिजेंस अनुप्रयोगों के लिए आवश्यक बिल्डिंग ब्लॉक्स को एक साथ लाने के लिए एक नया संगठन, एआई इंफ्रास्ट्रक्चर एलायंस उभरा। वे मशीन लर्निंग के लिए एक कैनोनिकल स्टैक बनाने पर काम कर रहे हैं, जिसका उद्देश्य "नवीनतम और महानतम" होने का दावा करने वाले ढेर सारे उपकरणों की शुरूआत के कारण उत्पन्न शोर को कम करना है, और गैर-तकनीकी कंपनियों के स्तर को तेजी से बढ़ाने में मदद करना है। .
6. एमडीएस की परिभाषा को डेटा उत्पादों, ऐप्स और अन्य तत्वों को शामिल करने के लिए विस्तारित किया जा रहा है। यह एमडीएस को फुल-स्टैक बना रहा है। नए उत्पाद और सेवाएं उभर रही हैं जो लक्षित उपयोगकर्ताओं (जैसे डेटा वैज्ञानिक बनाम विश्लेषक), कौशल उपलब्धता, और परिणाम प्राप्ति के समय के आधार पर स्थान को विभाजित करती हैं।
7. एमडीएस उपयोगकर्ता आधार विश्लेषिकी टीमों और व्यावसायिक उपयोगकर्ताओं को शामिल करने के लिए विस्तार कर रहा है। इसके परिणामस्वरूप बेहतर उपयोगकर्ता अनुभव, कम-कोड इंटरफेस और स्वचालन में सुधार हुआ है।
8. और अंत में, हम " पोस्ट-मॉडर्न स्टैक " जैसे दृष्टिकोणों का उदय देख रहे हैं, जो अनिवार्य रूप से एमडीएस और एमएलओपीएस स्टैक का एक पुनर्निर्माण है। ये दृष्टिकोण व्यवसाय के लिए प्रासंगिकता के साथ-साथ व्यावसायिक मूल्य उत्पन्न करने के लिए उत्पन्न सुविधाओं की डाउनस्ट्रीम खपत पर जोर देते हैं।

मैं

इसका क्या मतलब है

पूरे उद्योग में टूल और प्लेटफ़ॉर्म का समेकन, सरल प्लेटफ़ॉर्म विकास और प्रबंधित सेवाओं का उपयोग हो रहा है। यह व्यवसायों की जटिलता से निपटने की आवश्यकता से उपजा है। इस स्थान का हिस्सा बनने का यह एक रोमांचक समय है, और मैं यह देखने के लिए इंतजार नहीं कर सकता कि वर्ष के दौरान परिदृश्य कैसे विकसित होता है।

स्क्रिबल डेटा में, (जिस कंपनी की मैंने सह-स्थापना की है) हम इस विकास के बारे में गहराई से जानते हैं क्योंकि यह हो रहा है। हम एक विशिष्ट समस्या पर ध्यान केंद्रित करते हैं - उन्नत विश्लेषिकी और डेटा विज्ञान उपयोग मामलों के लिए फीचर इंजीनियरिंग। यह समस्या स्थान महत्व के रूप में लगातार विकसित हुआ है और उन तरीकों से विकसित हुआ है जो उपरोक्त बिंदुओं के अनुरूप हैं। सही प्रौद्योगिकी मिश्रण और समाधान फोकस के साथ, उपयोग के मामलों के लिए उत्पाद मूल्य को संरेखित करना संभव है, जबकि प्रत्येक उपयोग के मामले के लिए 5x तेज समय से मूल्य (टीटीवी) प्राप्त करना संभव है।

यहाँ भी प्रकाशित